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CONTROLEtm PAR MftNIPUIATION D'OBJETS VIRTIIELS 
SUR UN ECRAH TACTILE MUI.TI -CONTACT 

La prSsente invention se rapporte au domaine des 
5 contrdleurs musicaux. 

La pr6sente invention se rapporte plus 
particulidrement a une interface homme-machine permettant 
par exemple le controle de logiciels de musique ou d'un 
10 automate par un 6cran tactile multi-contact avec 
manipulation d'objets virtuels. 

L'art ant6rieur connait d€jh les cohtr61eurs de 
logiciels de type manual. Ce sont par exemple des 
15 potentiomdtres manipulables par I'utilisateur sous forme de 
console et controlant les diff^rentes fonctions des 
logiciels de musique. Une telle console fait par exemple 
I'objet de la demande PCT WO 01/69399. 

20 Le desavantage de ce type de controleur est qu'ils 

sont tres peu ergonomiques pour une manipulation efficace 
des logiciels. 

La solution proposee par la pr^sente invention est de 
25 mettre en oeuvre un gcran tactile pour la manipulation et 
I'acces aux fonctions logicielles. 

Dans le domaine des controleurs tactiles, I'eu-t 
ant^rieur connait d§ja par la demande PCT WO 03/041006, ou 
30 le brevet US 6 570 078 des contrdleurs musicaux avec 
contr61e tactile sur un capteur matriciel. Les technologies 
dgcrites dans ces documents permettent un controle tactile 
de type multi-contact, ou tous les doigts peuvent intervenir 
pour le contrdle des logiciels. 

BEST AVAILABLE COPY 
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Cependant ces documents ne proposent pas de retour 
visual des manipulations, puisque les diff Grants capteurs 
matriciels sont de type opaque. 



L'art anterieur connait, par la demande de brevet 
americain US 2002/005108 (Lester Franck Ludwig) "Tactiler 
visual and array controllers for real-time control of music 
signal processing, mixing, video and lighting", un systeme 
et un precede pour contr61er en temps reel des processeurs 
de signaux, des synthetiseurs , des instruments de musiques, 
des processeurs MIDI, des lumieres, de la vid^o, et des 
effets speciaux lors de representations, d'enregistrements 
ou dans des environnements de composition en utilisant des 
images derivees de capteurs tactile, de matrices de capteurs 
de pression, de matrices de transducteurs optiques, des 
matrices de capteurs chimiques, de matrices de capteurs 
corporals et de traitements num^riques. L' invention de cette 
demande de brevet americain fournit des touch-pads, des 
matrices de capteurs de pression et des matrices de capteurs 
corporels comme interfaces de contrSle tactile, des cameras 
vid6o et des matrices de capteurs de lumiere comme 
transducteurs optiques, des matrices de capteurs chimiques 
et d'autres dispositifs de generation d' images numeriques & 
partir de traitements sur ordinateurs ou de simulations 
numeriques. Les transducteurs tactiles peuvent §tre disposes 
sur les cies d ' instruments conventionnels, §tre attaches a 
des instruments existant ou bien etre utilises pour creer de 
nouveaux instruments ou de nouveaux contrdleurs. Les 
matrices de capteurs chimiques et les autres dispositifs de 
generation d' images numeriques a partir de traitements par 
ordinateur ou de simulations numeriques peuvent etre 
utilises pour observer ou simuler des phenomenes physiques 
naturels tels que des conditions environnementales ou des 
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comportements de processus s ' auto-organisant . Des matrices 
de scalaires ou de vecteurs sont trait6es pour extraire des 
limites de motifs, des propri6t6s g6om6trigues de pixels a 
I'int^rieur des limites (centre g^om^trique, moments 
5 pond^r^s, etc.) et des informations d6riv4es de plus haut 
n-iveau (sens de rotation, regions segment^es, classification 
de motifs, syntaxe, grammaires, sequences etc.) qui sont 
utilis^es pour cr6er des signaux de contr61e vers des 
^quipements externes vid^o, visuels et de contrSle ou bien 

0 des algorithmes. Cette invention permet 6galement de fournir 
des signaux de controle MIDI et non-MIDl. 

Cette demande de brevet am^ricain ne propose pas de 
retour visuel des manipulations. Cette demande de brevet 
americain ne fait pas non plus mention de loi de commande. 
5 Enfin cette demande de brevet ne propose pas de solutions 
techniques aux phenomenes de masquage qui interviennent 
lorsque plusieurs doigts sont alignSs ou places de maniere 
orthogonale sur le capteur. La resolution de ces probl&mes 
est indispensable a la mise en oeuvre d'un capteur tactile 

1 multi-contact. 



L'art ant^rieur connait ^galement, par le brevet 
americain US 5 027 689 (Yamaha) "Musical tone generating 
apparatus", un appareil gen^rateur de sons musicaux. Cet 
appareil comporte un dispositif de gSnSration d ' informations 
de position pour g^n^rer des informations de position 
d' instrument de musique (PS) en tant que valeurs de 
coordonnees planes. Ces informations (PS) sont stock#es dans 
un dispositif memoire ou d^termin^es de fagon selective par 
une operation manuelle. L' appareil comprend aussi un 
dispositif de conversion d ' informations pour convertir les 
informations (PS) en informations de contrdle de parametres 
de sons musicaux (PD). Ces informations de contr61e PD 
controlent les signaux de source de sons musicaux (SIX, S12 
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et S13) pour g6n6rer un champ de son correspondant h la 
position d' instruments de musiques disposes sur une scene. 
Ceci permet ^ un op^rateur de verifier les positions 
d' instruments de musique sur une scene, fournissant amsx la 
sensation d'etre dans une vraie repres entati on « en live ». 
pans ce brevet am^ricax n, il est fai^-TBsn-tton-de^ 



L/C&liO w« w w w w. 

multicontact, mais il s'agit seulement de deux contacts sur 
un axe et non pas en cobrdonn^es cart^siennes . L'appareil de 
ce brevet am^ricain ne fonctionne qu'en lin^aire pour 
1' option multipoint et ne permet pas le tracking (suivi de 
trajectoire). De plus, I'appareil de ce brevet americaxn 
necessite une pluralite de capteurs, specif ique a chacun des 
instruments, alors que la pr^sente invention vise un capteur 
g^n^rique . 

L'art anterieur connait ^galement une solution de type 
contrdleur musical sous la forme d'un 6cran tactile avec 
retour visuel des objets manipules par le brevet US 
5,559,301. Cependant, ce brevet decrit des objets pr^d^finxs 
(essentiellement de type sliders et potentiomfetre 
circulaire). Ces types d'objets sont assez limitatifs et 
peuvent s'av^rer peu ergonomiques pour des manipulations 
sp^ciales. par ailleurs, le mode d' acquisition decrit dans 
ce brevet n'est pas en- temps riel. En effet, un icone doit 
d'abord gtre active par un premier contact du doigt, puis 
1' Ob jet manipuie, et les valeurs ne sont mises a jour 
qu'apr^s que I'icSne soit relSche. Cette solution ne permet 
pas une gestion en temps r4el des parametres associes a 
I'objet. Enfin, le capteur tactile utilise dans ce brevet 
est un capteur « mono-contact >> ne permettant 1' acquisition 
par exemple que pour un seul doigt, et done le controle d'un 
seul Ob jet a la fois. Cette caract^ristique est tres 
limitative pour une manipulation efficace des objets. 
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Dans toute la suite, le tenne « multi-contact » 
dgfinit un capteur tactile pennettant 1 ' acquisition des 
zones de contact de plusieurs doigts a la fois, par 
opposition aux capteurs « mono-contact » ne permettant 
1' acquisition que pour un seul doigt ou pour un stylet, 
comme par exemple pour le brevet pr^c^dent US 5,559,301. 

La prgsente invention entend rem^dier aux 
inconvgnients de I'art ant^rieur en proposant un 6cran de 
controle musical tactile multi-contact avec retour visuel 
des diff^rentes actions de I'utilisateur sur des objets 
parametrables . 



15 



20 



Pour ce faire, la presente invention est du type 
d^crit ci-dessus et elle est remarquable, dans son acception 
la plus large, en ce que elle concerne un proc6d§ pour le 
controle d'un equipement informatise par un dispositif 
comportant un capteur bidimensionnel multi-contact pour 
1' acquisition d' informations tactiles, ainsi que des moyens 
de calculs g^nerant des signaux de commande en fonction 
desdites informations tactiles caract^ris^ en ce qu'il 
comporte une ^tape de generation d' objets graphiques sur un 
4cran plac4 sous un capteur tactile multi-contact 
transparent, chacun des objets graphiques 6tant associg & au 
moins une loi de traitement sp6cifique, le capteur d^livrant 
lors de chaque phase d' acquisition une plurality 
d' informations tactiles, chacune desdites informations 
tactiles faisant I'objet d'un traitement specif ique 
determine par sa localisation par rapport a la position d'un 
30 desdits objets graphiques. 



25 



une 



De pr6f6rence, les traitements comportent 
detection de zone englobante de la zone de contact d'un 
Ob jet avec le capteur tactile. 
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Avantageusement, les traitements comportent une 
detection de barycentre. 



De 



pr^f^rence, il comporte des 6tapes de 

rafraichissement des objets graphiques en fonction des 

traitements effectu^s lors d'une etape d' acquisition 
prec^dente au moins. 

Selon un mode de mise en (Euvre, il comporte une 6tape 
d' Edition d' objets graphiques consistant It g^n^rer une 
representation graphique a partir d'une bibliotheque de 
composants et de fonctions graphiques, et a determiner une 
loi de traitement associee. 

De preference, la frequence d ' acquisition des 
informations tactiles est superieure a 50 hertz. 

La presents invention concerne egalement un dispositif 
pour le controle d'un equipement informatise comportant un 
capteur bidimensionnel multi-contact pour 1' acquisition 
d' informations tactiles caracterise en ce qu'il comporte en 
outre un ecran de visualisation dispose sous le capteur 
tactile bidimensionnel, ainsi qu'une memoire pour 

5 I'enregistrement d'objets graphiques associes chacun a au 
moins une loi de traitement, et un calculateur local pour 
1' analyse de la position des informations tactiles acquises 
et 1' application d'une loi de traitement en fonction de 
ladite position par rapport h la position des objets 

0 graphiques . 

De preference, il se connecte en outre a un hub 
(multi-prise reseau) pour former un reseau de contrdleurs. 
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Avantageusement, ledit capteur tactile bidimensionnel 
multi-contact est une dalle resistive. 

De preference, ledit dispositif comprend en outre une 
5 sortie rSseau apte a recevoir un cable r^seau. 



On comprendra mieux 1' invention ^ I'aide de la 
description, faite ci-apres a titre purement explicatif, 
d'un mode de realisation de 1' invention, en reference aux 
10 figures annexges ou : 

la figure lA. est un diagramme fonctionnel du 
contrSleur selon 1' invention, 

- la figure IB repr6sente la structure du controleur 
associe au diagramme fonctionnel selon 1' invention, 

15 - la figure IC represente le diagramme fonctionnel des 

diff^rentes etapes des processus d' acquisition des donnees 
provenant du capteur, de la creation des curseurs associes 
aux differents doigts, de 1 ' interaction avec les objets 
graphiques et de la generation des messages de controle, 

20 - la figure 2A est une description du capteur tactile 

matriciel, 

la figure 2B decrit la premiere etape du 
f onctionnement du balayage du capteur en vue d'obtenir 
1 ' information multi-contact , 
25 - les figures 2C, 2E et 2F expliquent la resolution 

des problemes d ' orthogonalite , 

la figure 2D est un diagramme fonctionnel de 
1' interface de capture, 

- la serie de figure 3A k 3F explique les Stapes de 
30 creation de curseurs, de filtrage, de calcul de barycentre, 

de mapping et de controle des objets graphiques, 

- les figures 4 et 5 reprSsentent differents exemples 
d' objets graphiques. 
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- les figures 6 a 10 repr^sentent diff^rents exemples 
de coinbinaisons d'objets graphiques sur le contrdleur, 

- la figure 11 illustre I'utilisation en rSseau du 
contrdleur associ6 a I'ordinateur de I'utilisateur . 



Dans toute la suite, le contrSle s'eflectue sur 



un 



Uans tuuue J-ia. Bvi—ww, 

^quipement informatis6 pouvant etre par exemple un logiciel 
de musique, un automate, un equipement audiovisuel, ou un 
^quipement multimedia i 

Illustre figures lA, IB et plus pr6cis#ment 2A, le 
premier Pigment fondamental de la presente invention est le 
capteur matriciel (101), n^cessaire ^ 1 ' acquisition 
(manipulations multi-contact) a I'aide d'une interface de 
capture (102). Le capteur peut etre ^ventuellement divis6 en 
plusieurs parties afin d'acc^lerer la captation, chaque 
partie 6tant balay^e simultan^ment . 

Le principe general est de cr^er autant de curseurs 
(comme un curseur de souris) qu'il y a de zones detectees 
sur le capteur et de suivre leurs Evolutions dans le temps. 

Lorsque I'utilisateur retire ses doigts du capteur, 
les curseurs associ^s sent d^truits. 

De cette manifere, on capte la position et 1' Evolution 
de plusieurs doigts sur le capteur simultanEment. C'est une 
captation multi-contact tout a fait innovante pour ce type 
de contrSleur. 

Le capteur utilisE pour 1' exemple d' implementation de 
1' invention est une dalle tactile resistive matricielle de 
type connue. 
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Les dalles tactiles resistives matricielles sont 
compos^es de 2 faces superpos6es sur lesquelles sont 
organis6es des pistes d'lTO (oxyde indium 6tain) ^ qui est un 
matSriau conducteur translucide. Les pistes forment 
5 disposSes en lignes sur la couche superieure et en colonnes 
sur la couche inf^rieure, formant une matrice. (cf. figure 
2A) . 

Les deux couches conductrices sont isolees I'une de 
1' autre par des entretoises d'espacement . L ' intersection 
10 d'une ligne avec une colonne forme un point de contact. 
Quand on pose un doigt sur la dalle, on met en contact une 
ou des colonnes situees sur la couche superieure avec une ou 
des lignes situees sur la couche inferieure creant ainsi un 
ou plusieurs points de contact, (cf. figure 2B). 

15 

Avantageusement, une variante de 1' invention consiste 
a remplacer les entretoises par un materiau resistif 
transparent (par exemple un polymere conducteur), dont la 
resistance varierait en fonction de 1 '6crasement, celle-ci 
20 chutant si I'on exerce une force d'appui suffisante. De 
cette manifere, on pourrait egalement extraire la pression 
exerc^e sur la surface en effectuant une mesure de 
resistance a chaque intersection ligne-colonne. 

25 En vue de 1 'utilisation musicale ou audiovisuelle de 

ces dalles, I'lmp^ratif est de mesurer I'activite d'un doigt 
avec une latence maximiim de 20 ms. 

On mesure au moins 100 fois par seconde I'^tat de la 
30 dalle, celle-ci pouvant §tre divis^e en plusieurs zones afin 
d'effectuer un traitement parallele sur les lesdites zones. 

Ainsi, selon 1' invention, la frequence 

d'echantillonnage de la dalle est d'au moins 100 Hz, 
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Un autre el&nent fondamental est le dispositif 
^lectronique de balayage de la dalle tactile permettant la 
detection simultanee de plusieurs points de contact sur le 
capteur matriciel. En effet, les m^thodes d ' acquisitions 
connues pour ce type de capteurs ne permettent pas la 
detection de plusieurs points de contact simultanes. 

Les methodes connues a ce jour ne permettent pas de 
r^soudre les problemes illustres par la figure 2C. 

Si on effectue une mesure simultanee de toutes les 
lignes en alimentant une colonne, des problemes 
d' orthogonality surviennent. Le point de contact n°l va 
masquer le point de contact n"!. De meme, si on mesure une 
ligne lorsque toutes les colonnes sont alimentees, le point 
de contact n»2 est masqu6 par le point de contact n°l. La 
solution propos^e pour r^soudre ce probl^me consiste a 
effectuer un balayage s^quentiel du capteur. 

Les colonnes sont- alimentees par exemple en 5V a tour 
de r61e et on mesure le niveau des lignes (niveau haut ou 
bas ) sSquentiellement . 

Quand une des colonnes est mise sous tension, les 
autres sont en haute impedance afin d'empScher la 
propagation du courant dans celles-ci. 

Ainsi, On alimente d'abord la colonne 1 tandis que les 
autres colonnes sont en haute impedance. 

Les lignes sont mesur^es s^quentiellement , c'est-a- 
dire les unes apres les autres. On lit dans un premier temps 
la valeur sur la premiere ligne tandis que I'on relie toutes 
les autres lignes a la masse. Puis on relie la ligne 1 & la 
masse et on lit la valeur sur la ligne 2, et ainsi de suite 
jusqu'a ce que I'on ait lu la valeur de toutes les lignes. 
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La colonne 1 passe ensuite a I'etat de haute impedance 
et la colonne 2 est alimentSe. On recommence a lire I'etat 
de chacune des lignes. 

On effectue ainsi le balayage jusqu'a la dernifere 
5 colonne. 

Le but etant de former une dalle multi-contact, le 
balayage total de la matrice se fait a une frequence elevee 
afin d'obtenir la valeur de chacun des points d • inter section 
de la dalle plusieurs fois par seconde. 
10 Le dispositif permettant d'acquerir les donnees de la 

dalle est illustre par la figure 2D, repr^sentant 
I'algorithme d' acquisition d'une dalle comprenant 100 lignes 
(L) et 135 colonnes (C). 

15 Certains problemes de masquage d'un point par un ou 

plusieurs autres points peuvent apparaitre. 

En effet, la resistance du materiau transparent (ITO) 

composant les colonnes et les lignes augmente 

proportionnellement a la longueur des pistes. Ainsi, le 
20 potentiel mesure au coin inferieur gauche du capteur sera 

superieur au potentiel mesure a au coin sup^rieur droit. 

Sur les figure 2E et 2F, le nuage de points absorbe 

une grande partie du potentiel electrique de la colonne 

25 alimentee. La potentiel mesure sur le point isol6 est done 
trop faible pour etre d^tecte. 

La solution a ce probleme consiste a utiliser un 
comparateur de tension pilots numSriquement en sortie de la 
30 ligne afin de determiner si la tension obseirvee est 
suffisante pour etre consid^ree comme resultant de 1' action 
d'un doigt sur la dalle tactile. La valeur de reference du 
comparateur (seuil de comparaison) est d^crementee a chaque 
mesure de ligne. Ainsi les valeurs de comparaisons des 
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dernieres lignes sont inf^rieures ^ celles des premieres 
lignes, ce qui permet de d^tecter de la mSme mani^re un 
point de contact situ^ en bas a gauche ou en haut a droite. 

on effectu e alors par exemple I'echantillonnage 
complet de la dTlle au moins 100 fois par seconde pour les 
colonnes et les lignes. 

Les donn^es issues de 1' interface de capture (102) 
forment ainsi une image representative de 1' ensemble du 
capteur. Cette image est plac^e en memoire afin qu'un 
programme puisse proceder au filtrage, a la detection des 
doigts et a la creation des curseurs. On se r^f^rera a cet 
effet a la figure IC. 

La phase de filtrage illustr6 par la figure 3B 
consiste h gliminer le bruit 6ventuellement g^n^re par 
I'interface d'acquisition ou le capteur lui-meme. On 
considere que seals des nuages de plusieurs points de 
0 contact peuvent correspondre a I'appui d'un doigt. On 
effectue done une detection de zone englobante afin 
d'eliminer des points de contact isol^s. 

L'etape suivante consiste ^ associer un curseur a 
25 chaque point d'appui (figure 3C). A cet effet, on calcule le 
barycentre de chaque zone englobante. Lorsqu'un doigt est 
relachg, le curseur correspondant est lib#r6. 

Le programme ex#cut6 localement par le processeur 
30 principal permet d' associer ces curseurs a des objets 
graphiques qui sont affiches sur I'^cran (105) afin de les 
manipuler. Simultanement , le programme local utilise ces 
curseurs pour gen^rer des messages de contr61e adress^s a 
I'ordinateur bote ou I'appareil control^. 
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En outre, le programme comporte un simulateur de 
modeles physiques permettant de modifier les lois 
d ' interaction entre les curseurs et les objets graphiques. 
5 Dif fSrents modeles physiques peuvent gtre employes : systeme 
masse-ressort, vibration d'une corde, gestion des 
collisions, loi de la gravity, champ ^lectromagnetique. 

Le programme considere le positionnement des curseurs 
10 et sur quel objet graphique chacun se situe. En fonction de 
I'objet considere, un traitement specif ique est applique aux 
donnees provenant du capteur. Par exemple, une mesure de 
pression (correspondant a une evolution de la tache faite 
par le doigt sur la dalle tactile dans un court intervalle 
15 de temps) peut etre interpretee. En fonction de la nature de 
I'objet, d'autres parametres peuvent etre d^duits : 
1' acceleration, la vitesse, les trajectoires, etc. Des 
algorithmes de reconnaissance de forme peuvent etre 
appliques 6galement afin de differencier differents doigts. 

20 

Le programme principal (103) transmet egalement a 
I'interface graphique (104) les donnees a afficher a I'^cran 
(105). Cette interface graphique est en outre constituee 
d'un processeur graphique. Ce processeur graphique est par 

25 exemple de type connu. Ce dernier peut etre constitue de 
fonctions graphiques primitives permettant par exemple 
I'affichage de bitmap, de polices de caracteres de polygenes 
et de figures en 2 et 3 Dimensions, le dessin vectoriel, 
1' antialiasing, le texturage, la transparence et 

30 1 ' interpolation de couleurs. 

Dans cette dSclinaison de 1' invention, le programme 
principal comprend egalement un analyseur d' expressions 
mathematiques qui permet de saisir et de calculer en temps 
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r6el des fonctions math§matiques . Celles-ci permettent de 
modifier les valeurs de toute variable. Par exemple, les 
coordonn^es (x, y) d'un curseur ^ I'int^rieur d'un objet 
peuvent §tre consid^rees comine deux variables comprises 
entre 0 et 1. L'analyseur d' expression permet de cr6er une 
expression du type « x*1000+600 » afin d'obtenir une 
nouvelle variable, dont la valeur sera comprise entre 600 et 
1600. La variable obtenue pennet de contrdler par exemple la 
frequence d'un oscillateur comprise entre 600 et 1600 hertz. 

Les expressions mathematiques peuvent s'appliquer 
aussi bien a des valeurs scalaires qu'a des vecteurs. 

L'analyseur d' express ion est un outil permettant 
d'effectuer des calculs temps reel sur les variables des 
objets . 

Le programme local (103) realise egalement un 
format age des donnees sous forme de messages pour le port 
r^seau (106), qui les communiquera a I'ordinateur sur lequel 
sont ex6cut6es les applications inf ormatiques . 

L' interface reseau est par exemple une interface 
Ethernet 10/100 baseT standard, qui coiranunique par paquets 
grace au protocole TCP/IP. Elle peut aussi etre une 
interface reseau de type sans fil. 

Illustrg figure 11, il faut noter que la liaison 
Ethernet off re a 1 ' utilisateur la possibility, grace a 
1 'utilisation d'un simple hub (multiprise reseau), d'^tendre 
ind^finiment son dispositif de contrdle en constituant un 
rSseau de contrdleurs selon 1' invention. 



wo 2005/091104 



15 



PCT/FR2005/000428 



Le (ou les) contr61eur(s) present (s) sur le r6seau 
communiguent alors entre eux et avec I'ordinateur hote sous 
la forme d' envois reciproques de messages. 

5 L' ensemble constituant la machine est par ailleurs 

alimentSe par une batterie non representee de type connu ou 
par un adaptateur secteur. 

Enfin/ au niveau de I'ordinateur de I'utilisateur, un 
editeur d' interface (107) permet de programmer de maniere 

10 graphique 1' interface, c'est-a-dire 1' ensemble des objets 
graphiques affiches sur I'^cran (105). Dans ce mode de 
realisation de 1' invention, les interfaces sont elles-memes 
organisees en scenes, qui sont des structures hierarchiques 
superieures. Chaque scene comprend en effet plusieurs 

15 interfaces. L'utilisateur peut permuter les interfaces a 
I'aide d'un clavier de bouton ou d'un pedalier de controle 
connecte au port d'entr6e-sortie (109). 

Une autre fonction de 1' editeur d' interface est 
20 d'affecter les donn^es de controle aux parametres que 
I'utilisateur souhaite controler 

L'utilisateur dispose par exemple d'une bibliotheque 
d' objets graphiques parametrables permettant de composer 
25 diffSrentes interfaces selon 1' application dSsir^e. Les 
figures 4 et 5 representent diff^rents objets graphiques mis 
ci la disposition de I'utilisateur. 

lis peuvent etre pred^finis et d6di6s tout 
30 particulierement a la musique ou au controle d ' equipements 
audiovisuels ou d'appareils inf ortnatisSs. Par exemple, un 
potentiometre lineaire (403, 404) est particulierement 
adapte a controler des parametres continus tels que le 
volume d'un signal sonore, la frequence d'un filtre. Une 
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molette (401) pent par exemple servir a contrSler le 
defilement d'un lecteur audio ou vidSo. Les objets peuvent 
aussi gtre d6velopp6s librexnent grace ^ un kit de 
d^veloppement (SDK) de type connu (109). Le kit de 
developpement donne acces aux fonctions primitives 
graphiques du controleur. 

L'^diteur d' interface (107) permet ainsi h. 
I'utilisateur de cr^er ais^nt des interfaces 
personnalis^es de controle. C'est un logiciel execute sur 
I'ordinateur de I'utilisateur. Il se compose d'une fen§tre 
principale representant la surface tactile de la dalle sur 
. laquelle on peut deposer des objets graphiques issus d'une 
bibliotheque d' objets proposes. La manipulation et le 
placement des objets sur la surface s'effectuent a la 
souris, par exemple. L'objet depose sur la fenetre s'affxche 
simultan^ment sur le contrdleur, l'objet 4tant enregistr^ 
dans une m^oire du controleur. II peut par la suite 
deplacer ou redimensionner les objets a sa convenance. 

En plus du positionnement des objets graphiques sur la 
fen§tre principale, d'autres fenetres secondaires permettent 
de r^gler diff^rents paramfetres inh^rents aux objets 
(propriStes graphiques, comportement physique). Par exemple, 
un bouton (402) peut aussi bien agir comme un interrupteur 
ou comme une gSchette. Dans le cas du mode gSchette, une 
mesure de pression peut optionnellement etre op#r6e. Un 
autre exemple d'objet param6trable est I'aire 2D (503, 504), 
dont le principe consiste St deplacer des pions ^ I'int^rieur 
d'une zone delimit^e. Le nombre de pions presents sur 
l'aire2D est une option param^trable . L'aire peut tee 
configuree en mode uniplan, mode dans lequel les pions 
entrent en collision les uns avec les autres, ou multi-plan, 
nvode ou les pions sont places sur des plans distincts 
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superposes. Des paramStres physiques peuvent ggalement etre 
configures : le coefficient de frottement des pions sur le 
plan^ le rebond et 1' attraction des pions sur les bords et 
entre eux. 



L'editeur permet ggalement de lister les objets 
presents sur la surface, de creer des fonctions et des 
variables grace a I'analyseur d' expression. 

Ainsi, les objets ont par defaut un certain nombre de 
variables (x, z...) correspondant a leurs axes primitifs. 

Ces variables sont toujours comprises entre 0 et 1 et 
varient sous forme de nombres 32 bit a virgule flottante. 
L'utilisateur doit pouvoir « connecter » ces variables vers 
d'autres valeurs plus representatives de ce qu'il souhaite 
controler. Ainsi, I'analyseur d' expression donne la 
possibilite de creer de nouvelles variables a I'aide 
d' expressions mathematiques simples. Par exemple, un 
potent iometre rectiligne a un axe primitif qui est x. Si 
I'utilisateur desire controler une frequence de 500 it 
2500Hz, il doit creer une variable a=2000x+500. 

Des options d'affichage de statut sont aussi 
souhaitees. Elles permettent de contrSler visuellement 
25 l'6tat d'un parametre. 

Les traitements ult^rieurs qui seront appliques aux 
objets au niveau de 1' unite de calcul principale (103) par 
la manipulation sur la dalle sont specifiques a chaque type 
30 d'objet. 

En effet, un mouvement circulaire du doigt sur un 
potentiometre linSaire virtuel (403, 404) ne doit pas avoir 
d' action sur I'etat du potentiometre, alors qu'il doit 
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modifier l'6tat dans le cas d'un potentiometre circulaire 
(401). De meme, certains objets ne peuvent prendre en compte 
qu'un seul doigt (le potentiometre lin^aire par exemple) en 
m%me temps, tandis que d'autres peuvent accepter 
1' interaction de plusieurs doigts (clavier, aire2D) . 



par exemple, 1' « aire 2D >> (503, 504) est une surface 
rectangulaire qui contient un certain nombre de pions, 
chacun ayant une position propre. Les pions peuvent Stre 
10 deplaces par I'utilisateur. 

Le principe est de mettre en place un syst^e physique 
pour 1' ensemble des objets, c'est-^-dire par exemple que les 
pions d^plac^s par I'utilisateur acquierent une vitesse 

15 d'inertie qu'ils gardent lorsque I'utilisateur les relSche ; 
les pions ainsi soumis a leur vitesse propre vont rebondir 
sur les bords de 1' « aire 2D » et meme rebondir entre eux. 
De plus, ils seront soumis a des forces 
d' attraction/repulsion sur les bords et sur les autres 

20 pions, ainsi qu'a un coefficient de frottement sur la 
surface de I'aire 2D, pour stopper les pions au bout d'un 
certain temps. Tous ces paramStres seront param^trables . 

une autre variante de I'aire 2D consiste a appliquer 
25 une loi physique de type «masse-ressort ». Un elastique 
virtuel est tendu entre chaque curseur et chaque pion. 
L'utilisateur peut modifier le comportement de cet objet en 
configurant la friction et le facteur d' interpolation. Ces 
propri^t^s peuvent ^galement §tre modifiees en temps reel a 
30 I'aide d'autres objets. 

un autre exemple est le « Multislider »> (501), une 
table de curseur s dont le nombre est configurable. 
L'utilisation typique est le controle d'un ^galiseur 
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graphique ou d'une enveloppe spectrale. La difference entre 
un « multislider » et plusieurs potent iom&tres lineaires 
simples juxtaposes est que I'on peut modifier 1 'ensemble des 
curseurs en un seul toucher, en faisant glisser le doigt. Le 
5 multislider peut egalement Stre utilise comme une corde 
discretisee. Pour cela, il suffit de lui appliquer le modele 
physique d'une corde, dont la tension est parametrable par 
1 ' utilisateur . 

10 Une visualisation de diff brents examples d' interfaces 

reunissant differents types d'objets est illustree par las 
figures 6 a 9, ou I'on peut observer plusieurs objets 
decrits ci-dessus . 

15 La figure 6 represente un arrangement de 6 aire 2D 

(601) contenant chacune 1 pion. Cette interface pourrait 
controler, par exemple, six f litres differents affectes a 
une ou plusieurs sources sonores. Dans ce cas, le 
deplacement en abscisse de chaque pion a I'int^rieur de 

20 chaque zone contrdle la frequence du filtre, tandis que le 
deplacement en ordonnee contrdle le facteur qualite ou la 
largeur de bande du filtre. 

La figure 7 represente un exemple de controle d'un 
synthetiseur ou d'un echantillonneur de type connu. 

25 L' interface se compose d'un clavier tempere (704) controlant 
la hauteur des sons, d'un groupe de quatre potent iometres 
(703) verticaux permettant de contrdler par exemple son 
enveloppe dynamique (temps d'attaque, temps de d^croissance, 
niveau d'entretien, temps de relachement ) . Une aire 2D (701) 

30 contenant 3 pions permet de contrdler par exemple des effets 
appliques au son (reverberation, echo, filtres). Une matrice 
de 16 boutons (702) peut par exemple dec lane her 16 
differentes sequences musicales enregistrees ou encore 
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rappeler 16 configurations pre-enregistr6es des contrdles 
dScrits pr^c^denBoaent . 

un autre exemple d' application de 1' invention est 
illustr^ par la figure 8 repr^sentant le contrdle d^un 
dispositif de diffusion de diff^rentes sources sonores dans 
I'espace, sur un dispositif constitug de plusieurs haut- 
parleurs. Dans cette configuration, une aire 2D (801) 
representant I'espace de diffusion contient 4 pions (801) 
correspondant a quatre sources sonores. L'aire 2D contient 
^galement 5 ic6nes (802) representant le positionnement de 
cinq haut-parleurs. En d^plagant les differents pions (802) 
on regie le niveau et/ou la phase de chaque source sonore 
par rapport h chaque enceinte, ce qui determine son 
emplacement dans I'espace. Un groupe de quatre 
potentiom^tres lineaires (803) permet qui plus est de r^gler 
le niveau relatif de chaque source. Un ensemble de quatre 
boutons (804) permet d'activer ou de desactiver chaque 
source sonore . 

un autre exemple est illustr6 par la figure 9 qui 
repr^sente le contrdle d'un synth6tiseur ou d'un g^nSrateur 
de son selon une configuration diff6rente de celle 
representee par la figute 7. Ici, la frequence du gSn^rateur 
de son est contr616e par quatre cordes virtuelles (903). La 
tension initiale (1' accord) de chaque corde peut elle-m§me 
etre contrdl^e, par exemple, par un potentiomdtre lin^aire 
(902). Une aire 2D peut par exemple controler d'autres 
parametres du g^n^rateur de son, tel que le niveau de 
sortie, le timbre, le panoramique, etc. 

La figure 10 represente le controle d'un ^quipement de 
montage audio et/ou video de type connu. Une molette (1001) 
permet de contrdler la vitesse de lecture des sources audio 
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et/ou vid6o. Un objet d'affichage de statut (1002) permet de 
reprSsenter le posi1:ionnement de la lecture selon un format 
(heure, minute, seconde, image) de type connu. Un ensemble 
de boutons (1003) permet d'accSder aux fonctions de lecture 
5 et de montage de I'appareil control^. 



L' invention est decrite dans ce qui precede a titre 
d'exemple. II est entendu que 1 ' homme du metier est a meme 
de r^aliser differentes variantes de 1* invention sans pour 
10 autant sortir du cadre du brevet. 
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REVENDICATIONS 

1. Proc6d6 pour le controle d'un ^quipement 
informatis6 par un dispositif comportant un capteur 
bidimensionnel multi-contact pour 1 ' acquisition 

d' informations tactiles, ainsi que des moyens~"de calculs 
g6n6rant des signaux de commande en fonction desdites 
informations tactiles caract^rise en ce qu'il comporte une 
etape de generation d'objets graphiques sur un ^cran plac# 
sous un capteur tactile multi-contact transparent, chacun 
des objets graphiques #tant associ6 ^ au moins une loi de 
traitement specif ique, le capteur delivrant lors de chaque 
phase d' acquisition une pluralite d' informations tactiles, 
chacune desdites informations tactiles faisant I'objet d'un 
traitement specifique determine par sa localisation par 
rapport a la position d'un desdits objets graphiques. 

2. Precede pour le controle d'un ^quipement 
informatise selon la revendication 1, caracterise en ce 
qu'il met oeuvre un capteur matriciel et qu'il comporte en 
outre une 6tape de balayage sequentiel du capteur. 

3. ProcSd^ pour le contr61e d'un equipement 
informatise selon la revendication 1, caracterise en en ce 
que les traitements comportent une detection de zone 
englobante de la zone de contact d'un objet avec le capteur 
tactile . 

4. Precede pour le controle d'un equipement 
informatise selon la revendication 1, caracterise en en ce 
que les traitements comportent une detection de barycentre. 

5. Precede pour le controle d'un equipement 
informatise selon la revendication 1, caracterise en en ce 
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gu'il comporte des 6tapes de raf raichissement des objets 
graphiques en fonction des traitements effectuSs lors d'une 
6tape d' acquisitions prec#dente au moins. 

6- Proc6d6 pour le contrdle d^un ^quipement 

informatisg selon la revendication 1, caract6ris6 en en ce 
qu'il comporte une 6tape d'Sdition d'objets graphiques 
consistant & gen#rer une representation graphique a partir 
d'une bibliothdque de composants et de fonctions graphiques, 
et k determiner une loi de traitement associee. 



7. Precede pour le contr61e d'un equipement 
informatise selon la revendication 1, caracterise en en ce 
que la frequence d' acquisition des donnees tactiles est 

15 superieure a 50 hertz." 

8. Procede pour le controle d'un equipement 
informatise selon la revendication 1, caracterise en en ce 
que ledit dispositif communique avec ledit equipement 
informatise par une liaison Ethernet. 

9. Dispositif pour le contrdle d'un equipement 
informatise comport ant un capteur bidimensionnel multi- 
contact pour 1' acquisition d ' informations tactiles, 
caracterise en ce qu'il comporte en outre un ecran de 
visualisation dispose sous le capteur tactile 
bidimensionnel, ainsi qu'une memoire pour I'enregistrement 
d'objets graphiques associes chacun ^ au moins une loi de 
traitement, et un calculateur local pour 1' analyse de la 
position des informations tactiles acquises et 1' application 
d'une loi de traitement en fonction de ladite position par 
rapport a la position des objets graphiques. 
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10. Dispositif pour le contr61e d'un 6quipement 
informatis^ selon la revendication 9, caracteris6 en ce 
qu'il se connecte en outre St un hub (multi-prise reseau) 
pour former un r6seau de contr61eurs. 

11. Dispositif pour ie cont -r dle d'un equlpemenL 

informatis6 selon la revendication 9, caract6ris6 en ce que 
ledit capteur tactile bidimensionnel multi-contact est une 
dalle resistive. 

12. Dispositif pour le controle d'un ^quipement 
informatise selon la revendication 9, caract6ris4 en ce que 
ledit dispositif comprend en outre une sortie reseau apte a 
recevoir un cable reseau. 



THIS PAGE BUNK ojspto. 



wo 2005/091104 



PCT/FR2005/000428 



1/21 




THIS PAGE BLANK (uspto) 



wo 2005/091104 



PCT/FR2005/000428 



2/21 




CM 



THIS PAGE BLANK (uspto) 



wo 2005/091104 



PCT/FR2005/000428 



3/21 



I S ^ 




0) 

O) 

CO 

cn 

CO 
CD 

E 



CD 



CD ^2 



§ 8 

LU -O 







in 


a» 


•o 


.2" 




IE 












Ol 


mise 




bbje 



01 

n 
u 

a; 
■D 



I 



o 



c 
o 

u 
2 

Ol 



o 

13 
D) 



THIS PAGE BLANK (USPTO) 



wo 2005/091104 



PCT/FR2005/000428 



4/21 



CD 

'-4— < 

CO 

'co 




O 

73 
CO 
<D 

c 
o 

o 
o 

CO 
Z3 

o 

CO 
CO 
CD 

■o 

CD 

-a 

CD 

o 

o 
O 




CO 
13 
CO 
CO 
CD 

CD 
■D 

CD 

O 
13 
O 

O 



CD 



CO 

O 
CO 

"CD 

■o 

CD 

CD 
O 
O 

O 



€0 
3 
CO 

; CO 
0). 

■o 

CD 

CD 

O 
3 
O 

O 



0) 

o 

3 

o 
O 



CO 
3 

o 

CO 
CO 

(D\ 

■o 

CD 

-a 
o 

3 

o 

o 



< 

CD 
3 

Ll. 



CD 



3 

CD 
* 

Q. 
CO 

O 



THIS PAGE BLANK (uspro) 



wo 2005/091104 



PCT/FR2005/000428 



5/21 



CD 

O) 

CO 

CO 

(D 
T3 

CO 

CO 
CO 

<1> 
o 
o 



S9u6!| sap aSeABiea 



N 

N 

-Ni- 

N 
N 
N 
N 

N 
N 
N 
N 

N 

N 
N 
N 
. N 
N 
N 



N 
N 
N 
N 

N 
N 
N 
N 

N 



_> 



CO 

<u 

£1 
C 

O 

o 
to 

o) c: 

(0 3 
>> D) 

i5 ill 

(0 
CQ 



a: 



(0 ® 
Q- O 

£ CL 

O Q) 

O -o 



THIS PAGE BLANK (usmro) 



wo 2005/091104 



PCT/FR2005/000428 



6/21 



(D 
O) 
(0 
>» 

m 

<D 

■o 

w 

3 
Ui 

tn 
<D 
o 
p 



sauBji sap aSiAijig 



N 
N 

-rs4- 

N 
N 
N 
N 

N 
N 
N 
N 

N 
N 
N 
N 
N 
N 
M 

^-^ 

N 
N 
N 
N 

N 
N 
N 
N 

N 



ID 



(D 
C 

c 
o 

o 
o 

Ui 
<D 
TD 

(D 
O) 
CO 

>. 
i5 

CO 



O 
CM 

g> 




CO 0) 

Q-o 
E Q. 

O (1) 
O-D 



THIS PAGE BLANK (USPTO) 



wo 2005/091104 



PCT/FR2005/000428 



7/21 




™»S RAGE BUNK 



(USPTO) 



A 



THIS PAGE BLANK (uspto) 



wo 2005/091104 



PCT/FR2005/000428 



9/21 




CM 



(1) 
II :^ 

^ c 

~ CO 
CO *« 



0) 
II « 

o y 

cd en 

1^*2 



THIS PAGE BLANK (uspro) 



wo 2005/091104 



PCT/FR2005/000428 



10/21 

□ 




THIS PAGE BLANK (uspto) 



wo 2005/091104 



PCT/FR2005/000428 




THIS PAGE BLANK (usPTO) 



wo 2005/091104 



PCT/FR2005/000428 




THIS PAGE BLANK (uspto) 



wo 2005/091104 



PCT/FR2005/000428 



13/21 

y—X 



CM 




THIS PAGE BLANK (uspto) 



wo 2005/091104 



PCT/FR2005/000428 



14/21 




THIS PAGE BLANK (usp 



THIS PAGE BLANK (usr 



wo 2005/091104 



PCT/FR2005/000428 



16/21 




THIS PAGE BUNK (usFi 



THIS PAGE BLANK (uspro 



wo 2005/091104 



PCT/FR2005/000428 



18/21 




THfS PAGE BUNK (USPTO) 



wo 2005/091104 



PCT/FR2005/000428 



19/21 




1H1S PAGE BLANK (uspto) 



wo 2005/091104 



PCT/FR2005/000428 



20/21 




CD 
O 



L 



THIS PAGE BUNK mm) 



wo 2005/091104 



PCT/FR2005/000428 



21/21 



E 
o 

CO 



oo 



THIS PAGE BLANK (uspto) 



RAPPORT DE RECHERCHE INTERNATIONALE 



Demande Internationale No 

PCT/FR2005/000428 



A. CLASSEMENT DE L OBJET DE LA DEMANDE 

606F3/033 G06F3/033 



Selon la dasstfication internationaie des brevets (CIB) ou a la fois selon la classification nalionale et la CIB 



B. OOMAINES SUR LESQUELS LA RECHERCHE A PORTE 



Documentation minimale consults (syst^me de classificalion suivi des symboles de dassement) 

G06F 



Documentation consults autre que la documentation minimale dans la mesure oil ces documents reinvent des domaines sur lesquels a portd la recherche 



Base de donn^es ^lectronique consultde au cours de la recherche Internationale (nom de la base de donnees. et si realisable, termes de recherche utilises) 

EPO-Internal , INSPEC, IBM-TDB 



C. DOCUMENTS CONSIDERES COMME PERTINENTS 



Cat^gorie " Identification des documents cit^s. avec. le cas 6ch6ant, rindicatlon des passages pertinents 



X.Y 

X,Y 
X.Y 



US 2002/005108 Al (LUDWIG) 
17 Janvier 2002 (2002-01-17) 
cite dans 1a demande 

allneas [0222], [0232] - [0234], [0239], 
[0240], [0244], [0247] - [0261], 
[0326], [0329], [0370] - [0373]; 
revendlcations 1-3,7-10; figures 11,13,27 
alineas [0244], [0249] - [0255], [0258], 
[0260], [0261], [0326], [0329]; 
revendlcations 1-3 

allneas [0245], [0257], [0488] - [0509]; 
figure 12 



-/-- 



no. des revendlcations vistes 



1.2,9.11 
3-7 

8.10,12 



I )( I Voir la suite du cadre C pour la fin de la liste des documents 



Les documents de families de brevets sont indlquds en annexe 



Categories sp^ciales de documents cit^s: 

*A* document d^finissant rstat g^n^ral de la technique, non 
consider^ comme particuli6rement pertinent 

'E* document ant^rieur. mals public k la date de d6p6t intemational 
ou apr^s cette date 

•L* document pouvant jeter un doute sur une revendication de 
priority ou cit6 pour d6terminer la date de publication d'une 
autre citation ou pour une raison sp^iale (telle qu'indiqu6e) 

"O" document se r6f6rant d une divulgation orale. d un usage, d 
une exposition ou tous autres moyens 

'P* document public avant la date de d^pdt international, mais 
post^rieuremenl k la date de priority revendiqu6e 



'T* document ult^heur public apr^s la date de d^pdt intemational ou la 
date de priority et n'appartenenant pas k t'^tat de la 
technique pertinent, mais cite pour comprendre le prindpe 
ou la throne constrtuant la base de Pinvention 

■X' docuntent particufi6rement pertinent; Pinven tion revendlqu6e ne peut 
etre consider^e comme nouvelle ou comme impliquant une activity 
inventive par rapport au document consider^ isotdment 

'Y* document particulidrement pertinent; rinven tion revendiqu^e 

ne peut Stre consider6e comme impliquant une activity Inventive 
iorsque te document est assodd k uh ou plusleurs autres 
documents de m^me nature, cette combinatson 6tant evidente 
pour une personne du metier 

document qui fait parlie de la mdme famille de brevets 



Date d laquelle la recherche Internationale a etd effectivement achevee 



6 avril 2006 



Nom et adresse postale de Tadministration chargee de la recherche Internationale 
Office Europeen des Brevets, P.6. 5618 Patentlaan 2 
NL - 2260 HV Rijswijk 
Tel. (•^31-70) 340-2040. Tx. 31 651 epo nl. 
Fax: (+31-70)340-3016 



Date d'expedition du present rapport de recherche Internationale 



18/04/2006 



Fonctionnaire autorise 



Quesson, C 



Foimutaire PCT/ISA/210 (deuxidme feuille) (Janvier 2004) 



page 1 de 2 




THIS PAGE BLANK (uspto) 





RAPPORT DE RECHERCHE INTERNATIONALE 


Demande Internationale No 
rCT/r RZU0b/0004Zo 






C. (suite) DOCUMENTS CONSIDERES COMME PERTINENTS 




CaMgerie* 


Identification des documents clt6s, avec, le cas dch^ant, rindlcation des passages pertinents 


no. des revendlcations vis^es 




Y 


US 5 027 689 A (FUJIMORI) 

2 juniet 1991 (1991-07-02) 

cite dans la demande 

colonne 4, ligne 6-17; figures 1,3 

colonne 5, ligne 60 - colonne 6, ligne 43; 

figures 3,11 

colonne 12, ligne 64 - colonne 14, ligne 
37 


1,3-7.9 




4 


P.Y 
Y 


US 6 762 752 B2 (PERSKI HAIM ET AL) 
13 juillet 2004 (2004-07-13) 
colonne 1, ligne 10-13,33-61; figures 
1,3,7-11 

colonne 2, ligne 65 - colonne 3, ligne 11 
colonne 3, ligne 25-29 - colonne 4, ligne 
48-54 

colonne 5, ligne 7-15,27-57 - colonne 6, 
ligne 1-4 

colonne 7, ligne 10-13,22-35,51-62 - 

colonne 8, ligne 15-44 

colonne 9, ligne 17-46 

colonne 11, Hgne 8 - colonne 13, ligne 2 

US 5 053 585 A (INTERLINK ELECTRONICS INC) 
1 octobre 1991 (1991-10-01) 
le document en entier 


1,2,7-12 

1,3,4.9, 
11 





Formulaire PCT/ISA/210 (suite de la deuxidme feuille) (Janvier 2004) 



page 2 de 2 




™»S PAGE BLANK (usPTO, 



RAPPORT DE RECHERCHE INTERNATIONALE 

Renselgnements relatifs aux membres de families de brevets 



Detnande Internationale No 

PCT/FR2005/000428 



Document brevet cite 
au rapport de recherche 


Date de 
publication 


Meinbre(s) de la 
famine de brevet(s) 


Date de 
publication 


US 2002005108 


Al 


17-01-2002 


US 


2002056358 


Al 


16-05-2002 








US 


2002005111 


Al 


17-01-2002 








US 


2002007723 


Al 


24-01-2002 


US 5027689 


A 


02-07-1991 


AUCUN 






US 6762752 


B2 


13-07-2004 


AU 


2002356407 


Al 


10-06-2003 



WO 03046882 Al 
JP 2005510814 T 
US 2003098858- Arr 



05-06-2003 
21-04-2005 
-29=05-=2003- 



US 5053585 


A 


01-10-1991 AU 


8763491 


A 


20-05-1992 






JP 


2787959 


B2 


20-08-1998 






JP 


6502507 


T 


17-03-1994 






WO 


9207345 


Al 


30-04-1992 




Foimutaire PCT/iSA/210 (annexe families de brevets) (Janv'ier 2C04) 



THIS PAGE BLANK (uspto) 



This Page is Inserted by IFW Indexing and Scanning 
Operations and is not part of the Official Record 



Defective images within this document are accurate representations of the original 
documents submitted by the appHcant. 

Defects in the images include but are not limited to the items checked: 



U BLACK BORDERS 

□ IMAGE CUT OFF AT TOP, BOTTOM OR STOES 

□ FADED TEXT OR DRAWING 

□ BLURRED OR ILLEGIBLE TEXT OR DRAWING 

□ SKEWED/SLANTED IMAGES. ' / 



\U GRAY SCALE DOCUMENTS 

□ LINES OR MARKS ON ORIGINAL DOCUMENT 

□ R£FERENCE(S) OR EXHIBIT(S) SUBMITTED ARE POOR QUALITY 

□ OTHER: 



IMAGES ARE BEST AVAILABLE COPY. 
As rescanning these documents will not correct the image 
problems checked, please do not report these problems to 
the IFW Image Problem Mailbox. 



BEST AVAILABLE IMAGES 





COLOR OR BLACK AND WfflTE PHOTOGRAPHS 




THIS PAGE BLANK (uspto) 



